予測的構成(Prospective Configuration)

ネットワークの出力をどのように目標信号に近づける学習方法の１つ

学習は2段階で行われる

1. ネットワークの出力層の活動を目標信号を生み出すものに固定

回帰的な接続を通じてネットワーク全体の活動が、出力層が目標信号を生み出すように調節される

Naa_tsure.icon予測符号化(Predictive Coding:PC)でいうところのダイナミクスによる予測と同じ

2. この理想的な活動を維持するようにノード間の重みを調節

Naa_tsure.icon理想的な活動から重みを更新するのがポイント

Naa_tsure.icon出力空間(activity space (活動空間))において効率よくロスの最小化する方向に学習が進む

実装レベルでは、energy-based networks; EBNsがこの性質を持つので適当

1. 出力と目標信号のエラーが隠れ層に向かって伝播する

2. このエラーをもとにノード間の重みが行われる

この学習方法ではweight space (重み空間)における局所的な勾配を元に重みが更新される

Naa_tsure.iconしかし、global minimumにまっすぐ収束するわけではない

この学習方法は出力空間においてロスを最小化するわけではない

Naa_tsure.iconそのため予測的構成(Prospective Configuration)より性能が低いケースがある

Naa_tsure.icon誤差逆伝播法(Back-Propagation)こそが最も効率が良い学習手法という前提

でも、予測符号化(Predictive Coding:PC)をそのまま活かす形で進めたら、これを上回る性能を叩き出せるポテンシャルがあったって理解をしている